Bangunan galeri seni ini telah dibina pada tahun 1910 dan pada masa itu ia digunakan sebagai pangkalan Tentera Imperial Jepun semasa penjajahan Jepun di Tanah Melayu. Selepas itu, bangunan ini menjadi kediaman rasmi Menteri Besar Johor, Abdullah Jaafar. Kerajaan Negeri Johor kemudian memutuskan untuk memulihara bangunan tersebut dan mengubahnya menjadi sebuah galeri seni. Galeri Seni Johor secara rasmi dibuka pada 29 Januari 1994 oleh Menteri Besar Muhyiddin Yassin. Pada tahun 2000 hingga 2003, galeri ini ditutup untuk kerja-kerja pengubahsuaian dan dibuka semula pada 6 Mei 2003 oleh Ketua Menteri Abdul Ghani Othman. . [1]